こんにちは、yagiです。

AWS re:Invent 2022 の AWS DeepRacer: Get hands-on with machine learning Workshop へ参加してきました！

AWS DeepRacer: Get hands-on with machine learning Workshopとは

ML「強化学習」の基礎を学ぶために AWS DeepRacer を実際に体験することができます。

AWS DeepRacer コンソールから、レースの準備が整った自動運転アプリケーションの強化学習モデルを構築します。

構築したモデルを教室から re:Invent の AWS DeepRacer リーグ アリーナに持ち込み、賞品をかけて競い合うことも可能とのことです！

ワークショップの内容

前半はAWS DeepRacerの紹介と「強化学習」の説明。

後半はAWS DeepRacerのコンソールを使ったモデルの構築、トレーニング、モデルの評価までのハンズオン、といった構成でした。

強化学習とは何か？については、こちらの例がすごく分かりやすかったです！

良い行いには褒美を与え、悪い行いには与えない

このサイクルを繰り返します

正しいとする走行の場合は報酬を与えるが、正しくない場合は報酬を少なく設定する

上記の説明の後に、実際にAWS DeepRacer コンソール上からモデルを構築し、トレーニングしました。

トレーニング中に、報酬関数のグラフと実際のシミュレーションのビデオを確認することができます。 繰り返す回数を重ねるごとに、報酬関数が高くなっていき、正しい走行に近づいていることがわかります。

しかし、トレーニングをやりすぎると、ベストなモデルではなくなってしまいます。

トレーニングが完了すると、モデルの評価が開始できます。完了すると、以下のように評価結果として、走行タイムとシミュレーションのビデオを得ることができます。

結果を確認しながら、トレーニング時間や報酬関数、速度などの各種パラメーターを調整し、モデルの向上を目指すことができます。

感想

MLの高度が前提知識が無くても手軽に「強化学習」の基礎を学ぶことができ、DeepRacerの体験も楽しめるワークショップだったと思います！

グループで隣の方とも少し相談しながらワークを進めるのも楽しめました。